Homoskedasticity and Heteroskedasticity

若样本是独立同分布的，则有

E [e ∣ X] = [\begin{matrix} ⋮ \\ E [e_{i} ∣ X] \\ ⋮ \end{matrix}] = [\begin{matrix} ⋮ \\ E [e_{i} ∣ X_{i}] \\ ⋮ \end{matrix}] = 0

定义样本误差项的条件方差矩阵为

Ω \equiv V a r [e ∣ X] = E [e e^{T} ∣ X] - E [e ∣ X] E [e ∣ X]^{T} = E [e e^{T} ∣ X]

一般地，条件方差矩阵为

Ω = [\begin{matrix} σ_{11}^{2} & \dots & σ_{1 n}^{2} \\ ⋮ & ⋱ & ⋮ \\ σ_{n 1}^{2} & \dots & σ_{n n}^{2} \end{matrix}]

其中， $σ_{i j}^{2} = C o v (e_{i}, e_{j} ∣ X) = E [e_{i} e_{j} ∣ X]$

Homogeneity 假设为 $Ω$ 主对角线元素相同，即 $σ_{i i}^{2} = σ^{2}$

Heterogeneity 假设为 $Ω$ 主对角线元素不同，即 $σ_{i i}^{2} = σ_{i}^{2}$

Uncorrelated 假设为 $Ω$ 非主对角线元素为 0，即 $σ_{i j}^{2} = 0$

根据定义，只需要样本是独立同分布的就满足 Uncorrelated 假设

Correlated 假设为 $Ω$ 非主对角线元素不为 0，即 $σ_{i j}^{2} \neq 0$

同方差（Homoskedasticity）指 Homogeneity 和 Uncorrelated，即

Ω = σ^{2} I_{n}

异方差（Heteroskedasticity）指 Heterogeneity 和 Uncorrelated，即

Ω = [\begin{matrix} σ_{1}^{2} & \dots & 0 \\ ⋮ & ⋱ & ⋮ \\ 0 & \dots & σ_{n}^{2} \end{matrix}]

Estimate Conditional Variance of Error

在同方差假设下，估计 $Ω$ 相当于要估计 $σ^{2}$ ，一个朴素（naive）估计量是残差的平方均值：

{\tilde{σ}}^{2} = \frac{e^{T} e}{n}

然而，这个估计量是有偏的。

变换表达式为：

{\tilde{σ}}^{2} = \frac{e^{T} e}{n} = \frac{1}{n} e^{T} Me = \frac{1}{n} Tr (e^{T} M e) = \frac{1}{n} Tr (M e e^{T})

这是因为① Annihilator Matrix 的性质 ② $e^{T} M e$ 是一个二次型，也就是一个数（1×1 矩阵），根据 Trace Operator 的定义，数的迹等于自己。

朴素估计量的条件期望为

\begin{aligned} E [{\tilde{σ}}^{2} ∣ X] & = \frac{1}{n} Tr (E [M e^{T} e ∣ X]) \\ = \frac{1}{n} Tr (M E [e^{T} e ∣ X]) \\ = \frac{σ^{2}}{n} Tr (M) \\ = σ^{2} \frac{n - k}{n} \neq σ^{2} \end{aligned}

其中， $Tr (M) = n - k$ 表示线性投影后剩余的维度，见 Annihilator Matrix

因此，需要经过一些调整得到无偏估计量

{\hat{σ}}^{2} \equiv \frac{n}{n - k} \frac{e^{T} e}{n} = \frac{e^{T} e}{n - k} ⟹ E [{\hat{σ}}^{2} ∣ X] = σ^{2}

从而得到同方差假设下的参数估计量条件方差估计值为

\hat{V} = (X^{T} X)^{- 1} \frac{e^{T} e}{n - k}

相应的，第 $j$ 个自变量的标准差为

\hat{S e} ({\hat{β}}_{j} ∣ X) = \frac{\frac{e^{T} e}{n - k}}{\sqrt{(X_{j} - {\bar{X}}_{j})^{T} (X_{j} - {\bar{X}}_{j})}}

在异方差假设下，估计 $Ω$ 相当于要估计 $σ_{i}^{2}$ ，一个朴素（naive）估计量是残差的平方：

{\tilde{σ}}_{i} = e_{i}^{2}

从而得到异方差假设下的参数估计量条件方差估计量为

{\hat{V}}^{H C 0} = (X^{T} X)^{- 1} X^{T} [\begin{matrix} e_{1}^{2} & \dots & 0 \\ ⋮ & ⋱ & ⋮ \\ 0 & \dots & e_{n}^{2} \end{matrix}] X (X^{T} X)^{- 1}

然而朴素估计量是有偏的，无偏估计量为

{\hat{σ}}_{i}^{2} \equiv \frac{n}{n - k} e_{i}^{2}

从而得到异方差假设下的参数估计量条件方差估计量为

{\hat{V}}^{H C 1} = \frac{n}{n - k} {\hat{V}}^{H C 0}

相应的，第 $j$ 个自变量所谓稳健标准差为

\hat{S e} ({\hat{β}}_{j} ∣ X) = \sqrt{{\hat{V}}_{j}^{H C 1}}

其中， ${\hat{V}}_{j}^{H C 1}$ 表示 ${\hat{V}}^{H C 1}$ 主对角线上第 $j$ 个元素。

这也是 stata 当中使用 robust 选项默认使用的估计量